Ban đã lập gia đình và có một con trai và hai con gái.[3] Ông tự nhận mình là tín hữu Cơ Đốc Liên phái (thuộc viên của các giáo đoàn không liên kết với một giáo hội nào - non-denominational Christian). Ông là thành viên của Phong trào "Phi Giáo phái" (Mukyōkai),[4] được thành lập bởi Uchimura Kanzo, lan tỏa đến Hàn Quốc trong những năm 1920. Các thành viên của phong trào, chủ yếu là thành phần trí thức, xem Kinh Thánh là nguồn cảm hứng cho đời sống cá nhân và cộng đồng của họ.[5]

Là một học sinh trung học trong những năm đầu của thập kỉ 1960, Ban gặp Tổng thống Hoa Kỳ John F. Kennedy ở Washington D.C. sau khi thắng một cuộc thi tiếng Anh tổ chức bởi Hội Chữ thập đỏ Mỹ, sau đó ông quyết tâm trở thành một nhà ngoại giao. Thêm vào tiếng Hàn là tiếng mẹ đẻ, Ban thông thạo tiếng Anh và tiếng Pháp.

Cuối tháng 10/2015 các báo mạng tại Việt Nam đưa tin, ngày 23 tháng 5 năm 2015, trong một hoạt động cá nhân ông Ban Ki-moon cùng phu nhân đã đến dâng hương tại nhà thờ dòng họ Phan Huy ở xã Sài Sơn, huyện Quốc Oai, Hà Nội, Việt Nam[6]. Trong lưu bút ông nói rằng ông “là một người con của dòng họ Phan" và ghi tên ông bằng chữ Hán là 潘基文 (âm Hán Việt: Phan Cơ Văn)[6], song không nói rõ là thành viên họ Phan Hàn Quốc, hay họ Phan Việt Nam (thậm chí dòng họ Phan Huy)[7]. Sự kiện và ý tứ trong lưu bút dẫn đến suy diễn cho rằng, ông là hậu duệ của nhà bác học Phan Huy Chú[8]. Giáo sư Phan Huy Lê thì có nói "Trong trao đổi ông nói là hậu duệ của họ Phan Huy và cụ thể hơn là hậu duệ của Phan Huy Chú..."[9]. Tuy nhiên những người liên quan đều thận trọng về "tính chất cá nhân" của sự kiện, và dòng họ Phan Huy hiện không tìm thấy tư liệu trong gia phả về các nhánh di cư. Họ Phan là một họ của người Á Đông, có ở Hàn Quốc, Triều Tiên, Trung Quốc, Việt Nam, và "Hội đồng họ Phan Quốc tế" đã từng tổ chức họp mặt giao lưu ở Trung Quốc[7].